Cross-Lingual Alignment for Decoder-Only Models using MoE Routers
面向 Decoder-only MoE 模型的跨语言路由器对齐方法
🧭 跨语言 MoE 路由器对齐 ★ 深度解读
University of California, Los Angeles · Haverford College · MILA - Quebec AI Institute · McGill University
用 MoE router 输出的均值池化作为序列级跨语言对齐目标，在解码器模型中实现显式对齐并提升多语种表现
📌 工作参考价值（4 点）
- 在跨境电商/搜索的多语言 MoE 模型中，可用平行语料（商品标题、query 翻译对、广告文案对）对中间层 MoE router 的 mean-pooled 分布做 KL 对齐；这比 mean-pooled hidden states 更稳定，且无需 token 级对齐，适合短文本与低资源语言。辅助 loss 梯度只走目标语言，source 侧不更新。
- 工程实现建议采用 packed 共享前向 + 源序列早退：把 source/target 拼在一起做变长 attention，source token 在最后一个对齐层后停止计算，可省去 padded 双重前向；α 初值可设为让 α·L_XLR ≈ L_LM，再邻近搜索。
- 对齐层不要全选，用 cross-lingual routing divergence 曲线选「已经共享专家」的中间层，避免在输入/输出语言特异层强行对齐；对齐后隐藏表征 SoftCKA 会跟随提升，说明 router 分布可当轻量内部监控指标。
- 若只能做参数高效微调，router-only（<0.1% 参数）可作低资源语种适配尝试，但结果 noise 较大，不应替代全参训练；核心收益来自给 routers 提供更好 hidden states。